Homoskedasticity and Heteroskedasticity

Estimate Conditional Variance of Error

在同方差假设下，估计 $Ω$ 相当于要估计 $σ^{2}$ ，一个朴素（naive）估计量是残差的平方均值：

{\tilde{σ}}^{2} = \frac{e^{T} e}{n}

然而，这个估计量是有偏的。

变换表达式为：

{\tilde{σ}}^{2} = \frac{e^{T} e}{n} = \frac{1}{n} e^{T} Me = \frac{1}{n} Tr (e^{T} M e) = \frac{1}{n} Tr (M e e^{T})

这是因为① Annihilator Matrix 的性质 ② $e^{T} M e$ 是一个二次型，也就是一个数（1×1 矩阵），根据 Trace Operator 的定义，数的迹等于自己。

朴素估计量的条件期望为

\begin{aligned} E [{\tilde{σ}}^{2} ∣ X] & = \frac{1}{n} Tr (E [M e^{T} e ∣ X]) \\ = \frac{1}{n} Tr (M E [e^{T} e ∣ X]) \\ = \frac{σ^{2}}{n} Tr (M) \\ = σ^{2} \frac{n - k}{n} \neq σ^{2} \end{aligned}

其中， $Tr (M) = n - k$ 表示线性投影后剩余的维度，见 Annihilator Matrix

因此，需要经过一些调整得到无偏估计量

{\hat{σ}}^{2} \equiv \frac{n}{n - k} \frac{e^{T} e}{n} = \frac{e^{T} e}{n - k} ⟹ E [{\hat{σ}}^{2} ∣ X] = σ^{2}

从而得到同方差假设下的参数估计量条件方差估计值为

\hat{V} = (X^{T} X)^{- 1} \frac{e^{T} e}{n - k}

相应的，第 $j$ 个自变量的标准差为

\hat{S e} ({\hat{β}}_{j} ∣ X) = \frac{\frac{e^{T} e}{n - k}}{\sqrt{(X_{j} - {\bar{X}}_{j})^{T} (X_{j} - {\bar{X}}_{j})}}

在异方差假设下，估计 $Ω$ 相当于要估计 $σ_{i}^{2}$ ，一个朴素（naive）估计量是残差的平方：

{\tilde{σ}}_{i} = e_{i}^{2}

从而得到异方差假设下的参数估计量条件方差估计量为

{\hat{V}}^{H C 0} = (X^{T} X)^{- 1} X^{T} [\begin{matrix} e_{1}^{2} & \dots & 0 \\ ⋮ & ⋱ & ⋮ \\ 0 & \dots & e_{n}^{2} \end{matrix}] X (X^{T} X)^{- 1}

然而朴素估计量是有偏的，无偏估计量为

{\hat{σ}}_{i}^{2} \equiv \frac{n}{n - k} e_{i}^{2}

从而得到异方差假设下的参数估计量条件方差估计量为

{\hat{V}}^{H C 1} = \frac{n}{n - k} {\hat{V}}^{H C 0}

相应的，第 $j$ 个自变量所谓稳健标准差为

\hat{S e} ({\hat{β}}_{j} ∣ X) = \sqrt{{\hat{V}}_{j}^{H C 1}}

其中， ${\hat{V}}_{j}^{H C 1}$ 表示 ${\hat{V}}^{H C 1}$ 主对角线上第 $j$ 个元素。

这也是 stata 当中使用 robust 选项默认使用的估计量